论文分享｜自适应样本加权的联邦学习算法
论文名称：FedSW: Federated Learning with Adaptive Sample Weights
论文来源：Information Sciences
论文作者：高 莹, 陈晓峰, 张一余, 王玮, 邓煌昊, 段培, 陈培炫
论文链接：https://www.sciencedirect.com/science/article/pii/S0020025523014585
研究背景
高泛化性能的机器学习依赖于大规模的数据和模型，但由于隐私问题，数据所有者通常不愿意共享他们的数据。联邦学习（FL）通过协调服务器和客户端共享训练参数而实现多方合作训练，而不共享客户端数据。然而，客户端数据集通常存在统计差异，每个客户端在每次迭代开始时接收到全局模型，并使用自己的数据对其进行更新。这导致模型参数的显著变化，并增加模型损失，导致训练过程中不稳定的收敛以及对超参数的高敏感性。模型波动的根本原因是异常样本的存在。
因此，我们提出了一种基于自适应样本加权算法的算法。该算法将客户端的优化目标定义为加权经验损失和关于每个样本权重的正则化项的和。它根据样本在全局模型上产生的损失来调整每个样本的权重。这种方法有效地解决了异构数据分布和噪声数据下的训练问题。
本文贡献与主要思路
FedSW对联邦学习领域的主要贡献是提出了一种基于自适应样本加权的算法，该算法将样本加权纳入优化目标中。这种方法通过交替优化全局模型和样本权重来解决联邦学习中数据集嘈杂和统计多样的挑战。
该算法通过设计一种迭代方法，同时更新样本权重和参数，以交替优化全局模型和样本权重。
当客户端接收到全局模型时，对于固定的全局模型，样本权重的函数在小批量中被随机地并行最小化。依次固定每个样本权重，将全局模型作为初始值，并执行几步本地更新。
请注意，在更新样本权重时，全局模型被固定，该算法交替更新样本权重和参数，直到收敛，有关具体算法，请见原文。
实验结论
通过将数据加权方法与现有的模型优化技术相结合，算法性能得到了显著的改善。在这项研究中，我们将样本加权方法应用于FedAvg、FedProx、SCAFFOLD、FedDyn、Moon、FedCurv、FedNova和FedNTD算法。我们充分考虑了CIFAR-10数据集中不同程度的异质性分布。由于CIFAR-100数据集的难度较大，较高的异质性导致联邦优化算法无法收敛。因此，我们设定了较低的数据异质性参数（s=10）。对于相对简单的MNIST和FMNIST数据集，我们进行了在最大异质性参数下的实验。实验结果显示，在MNIST数据集上，应用样本加权与FedNova算法时，准确率最大提高约19%。
与此同时，在实验中该算法使用了一种隐式的SPL正则化器来计算每个样本的权重。隐式的SPL正则化器是从一个鲁棒的Welsch损失函数中导出的，该函数在实验中表现良好。
正则化器的解析形式是未知的，但相应的最优权重可以直接从损失函数中导出。该算法使用单个公式将损失转换为样本权重，这使得在FL的上下文中应用更加容易。
实验表明，该算法收敛，并且所提出的方法比一系列联邦平均算法更加稳定和准确。具体而言，当30%的训练数据被损坏时，所提出的方法的测试准确率比联邦平均算法高出50%。
以下为文中的一些实验数据：
结论
本文的结论是，所提出的FedSW算法是一种比联邦平均算法更稳定和准确的联邦学习方法。该算法的自适应样本权重机制有效地处理数据中的噪声，并提高了联邦学习系统的整体性能。
实验表明，该算法收敛并在30%的训练数据受损时比联邦平均算法实现高达50%的测试准确性。
本文来源： DAI Lab
分享仅供学习参考，若有不当，请联系我们处理。
END
热文
2.笔记分享｜组队学习密码学（5）— 密码数学基础：初等数论
推荐4. 论文分享｜基于Vector OLE构造的恶意安全的PSI协议（VOLE-PSI）